Rohrer sinh tại St. Gallen, Thụy Sĩ một nửa giờ sau người chị song sinh của ông. Gia đình chuyển tới cư ngụ ở Zürich năm 1949. Ông ghi tên học ở ETH Zürich năm 1951, là học trò của Wolfgang Pauli. Luận án tiến sĩ của ông căn cứ trên công trình đo các thay đổi chiều dài của chất siêu dẫn ở sự chuyển đổi siêu dẫn cảm ứng từ trường, một dự án do Jörgen Lykke Olsen khởi xướng. Ông đã làm hầu hết các nghiên cứu của mình vào ban đêm sau khi thành phố đã yên ngủ vì các việc đo của ông rất nhạy cảm với sự rung động.

Các nghiên cứu của ông bị gián đoạn vì ông phải thi hành nghĩa vụ quân sự trong Bộ binh Thụy Sĩ ở vùng núi.

Năm 1961, ông kết hôn với Rose-Marie Egger. Chuyến du lịch hưởng tuần trăng mật ở Hoa Kỳ của họ cũng xen lẫn một thời gian làm nghiên cứu về độ dẫn nhiệt của chất siêu dẫn loại II và của các kim loại, làm chung với Bernie Serin tại Đại học Rutgers ở New Jersey.

Năm 1963, ông tham gia nhóm nghiên cứu ở Phòng thí nghiệm của hãng IBM tại Rüschlikon, Zürich dưới sự hướng dẫn của Ambros Speiser. Vài năm đầu làm việc ở đây, ông đã nghiên cứu hệ thống Kondo với từ trở trong các xung từ trường. Sau đó, ông bắt đầu nghiên cứu magnetic phase diagram (biểu đồ pha từ), mà cuối cùng đã đưa ông vào các lĩnh vực của các hiện tượng tới hạn (critical phenomena).

Năm 1974, ông tạm nghỉ việc một năm, sang Đại học California tại Santa Barbara nghiên cứu cộng hưởng từ hạt nhân với Vince Jaccarino và Alan King.

Năm 1997 ông rời hãng IBM sang làm việc ở Consejo Superior de Investigaciones Científicas (Hội đồng nghiên cứu khoa học cấp cao) ở Tây Ban Nha và ở RIKEN (Rikagaku Kenkyūjo 理化学研究所? = Viện nghiên cứu Vật lý, Hóa học) của Nhật Bản[1].